We present nBIIG, a neural Business Intelligence (BI) Insights Generation system. Given a table, our system applies various analyses to create corresponding RDF representations, and then uses a neural model to generate fluent textual insights out of these representations. The generated insights can be used by an analyst, via a human-in-the-loop paradigm, to enhance the task of creating compelling table reports. The underlying generative neural model is trained over large and carefully distilled data, curated from multiple BI domains. Thus, the system can generate faithful and fluent insights over open-domain tables, making it practical and useful.
translated by 谷歌翻译
图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。
translated by 谷歌翻译
机器学习辅助建模的原子势能表面（PES）正在彻底改变分子模拟的领域。随着高质量电子结构数据的积累，可以在所有可用数据上鉴定的模型，并在下游任务上以较小的额外努力进行填充，这将使该领域进入新阶段。在这里，我们提出了DPA-1，这是一种具有新颖的注意机制的深层潜在模型，该模型非常有效地表示原子系统的构象和化学空间并学习PES。我们在许多系统上测试了DPA-1，并且与现有基准相比，观察到了卓越的性能。当在包含56个元素的大规模数据集上进行预估计时，DPA-1可以成功应用于各种下游任务，并有很大的提高样品效率。令人惊讶的是，对于不同的元素，学习的类型嵌入参数在潜在空间中形成$螺旋$，并具有自然对应的元素性表位，显示了预审预周化的DPA-1模型的有趣解释性。
translated by 谷歌翻译
图形神经网络（GNN）通过汇总邻居的信息在图表中显示出表达性能。最近，一些研究讨论了在图上建模邻域分布的重要性。但是，大多数现有的GNN通过单个统计量（例如，均值，最大，sum）汇总了邻居的特征，该特征失去了与邻居特征分布相关的信息，因此会降低模型性能。在本文中，受统计理论的力矩方法的启发，我们建议用多阶矩对邻居的特征分布进行建模。我们设计了一种新型的GNN模型，即混合矩图神经网络（MM-gnn），其中包括一个多阶矩嵌入（MME）模块和一个基于元素的注意力矩适配器模块。 MM-gnn首先将每个节点的邻居的多阶矩作为签名计算，然后使用基于元素的注意力矩适配器将较大的权重分配给每个节点的重要矩和更新节点表示。我们对15个真实图表（包括社交网络，引文网络和网页网络等）进行了广泛的实验，以评估我们的模型，结果证明了MM-GNN优于现有最先进模型的优势。
translated by 谷歌翻译
多个实例学习（MIL）是对诊断病理学的整个幻灯片图像（WSI）进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是，先前的方法主要是在独立和相同的分布假设（\ textit {i.i.d}）下设计的，忽略了肿瘤实例或异质性之间的相关性。在本文中，我们提出了一种新颖的基于多重检测的多重实例学习（MDMIL）来解决上述问题。具体而言，MDMIL是由内部查询产生模块（IQGM）和多重检测模块（MDM）构建的，并在训练过程中基于内存的对比度损失的辅助。首先，IQGM给出了实例的概率，并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询（IQ）。其次，在MDM中，多重检测交叉注意（MDCA）和多头自我注意力（MHSA）合作以生成WSI的最终表示形式。在此过程中，智商和可训练的变异查询（VQ）成功建立了实例之间的联系，并显着提高了模型对异质肿瘤的鲁棒性。最后，为了进一步在特征空间中实施限制并稳定训练过程，我们采用基于内存的对比损失，即使在每次迭代中有一个样本作为输入，也可以实现WSI分类。我们对三个计算病理数据集进行实验，例如CamelyOn16，TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。
translated by 谷歌翻译
在这份技术报告中，我们介绍了数字写作助手（高效且智能编辑），该助手通过使用人工智能（AI）技术来促进用户更有效地编写更高质量的文本。以前的写作助理通常提供错误检查的功能（以检测和纠正拼写和语法错误）和有限的文本练习功能。随着大型神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五个类别的功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入方法（Cloud IME）。在文本完成类别中，Effidit支持基于生成的句子完成，基于检索的句子完成和短语完成。相比之下，到目前为止，许多其他写作助理仅提供三个功能中的一两个。对于文本抛光，我们具有三个函数：（上下文感知）短语抛光，句子释义和句子扩展，而其他许多写作助手通常会在此类别中支持一两个功能。本报告的主要内容包括象征的主要模块，实施这些模块的方法以及一些关键方法的评估结果。
translated by 谷歌翻译
本文提出了一种新颖的统一特征优化（UFO）范式，用于训练和在现实世界和大规模场景下进行深层模型，这需要集合多个AI功能。不明飞行物的目标是通过对所有任务进行大规模预修。与众所周知的基础模型相比，UFO具有两个不同的重点，即相对较小的模型大小，没有适应性成本：1）UFO以多任务学习方式将广泛的任务挤入中等尺寸的统一模型中并在转移到下游任务时进一步修剪模型大小。 2）不明飞行物不强调转移到新任务。相反，它旨在使修剪模型专门用于一个或多个已经看到的任务。有了这两个特征，UFO为灵活的部署提供了极大的便利，同时保持了大规模预处理的好处。 UFO的一个关键优点是修剪过程不仅可以减少模型的大小和推理消耗，而且还提高了某些任务的准确性。具体而言，UFO考虑了多任务培训，并对统一模型产生了两倍的影响：一些密切相关的任务具有相互利益，而某些任务相互冲突。不明飞行物设法通过新颖的网络体系结构搜索（NAS）方法来减少冲突并保留相互利益。对各种深度表示学习任务（即面部识别，人重新识别，车辆重新识别和产品检索）的实验表明，从UFO中修剪的模型比单件任务训练的对应物更高，但却具有更高的准确性较小的型号大小，验证不明飞行物的概念。此外，UFO还支持发布170亿个参数计算机视觉（CV）基础模型，该模型是该行业中最大的CV模型。
translated by 谷歌翻译
尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。
translated by 谷歌翻译
在过去的十年中，随着大数据技术的发展，越来越多的患者信息被存储为电子健康记录（EHRS）。利用这些数据，已经提出了各种医生建议系统。通常，此类研究以平坦结构的方式处理EHR数据，每次相遇都被视为一组无序的特征。然而，不得忽略索赔中存储的诸如服务序列之类的异质结构化信息。本文提出了一个医生推荐系统，并嵌入了时间，以使用异质图注意网络重建患者和医生之间的潜在联系。此外，为了解决患者数据共享交叉医院的隐私问题，还提出了一种基于最小化优化模型的联邦分散学习方法。基于图的推荐系统已在EHR数据集上进行了验证。与基线模型相比，提出的方法将AUC提高了6.2％。我们提出的基于联邦的算法不仅产生了虚拟的融合中心的性能，而且还具有O（1/T）的收敛速率。
translated by 谷歌翻译
视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。
translated by 谷歌翻译